See What I See, Know What I Think: Dense Latent Communication Across Heterogeneous Agents
看见我所见，知晓我所想：异构智能体的密集隐空间通信
🧭 多智能体隐空间通信 · 异构KV缓存对齐 ★ 深度解读
University of Michigan · NVIDIA · University of Pennsylvania · University of Colorado Boulder · Michigan State University
提出异构多智体KV缓存密集对齐框架，实现跨模型知识迁移和高效通信，计算量降低2-3倍。
📌 工作参考价值（4 点）
- 跨模型知识迁移：在电商多模型 Agent 系统中（如不同尺寸LLM协作），可直接使用论文的两阶段训练（Phase I 重建对齐，Phase II 生成微调）和跨模型 KV-cache 适配器，让大模型直接将自己的“思考状态”注入小模型，避免重复编码上下文，大幅降低推理成本。
- 上下文不感知的高效通信：当接收方 Agent 无法访问原始输入（如隐私限制或带宽限制），论文的密集对齐方法可作为现成方案，将发送方的知识与推理一并压缩进 transformable KV-cache，接收方仅凭 cache 即可完成任务，这适用于电商推荐中跨域、跨设备的同步策略。
- 稀疏推理信号与门控机制：压缩感知分析指出上下文感知通信仅需少量 KV 组即可作为推理指引，可借鉴其按头组门控选择与重要性评分，在生成式推荐或 query 理解中，对跨模型传递的“提示信号”进行选择性裁剪，兼顾精度与效率。
- 位置解耦与层对齐：论文中剥离 RoPE 进行内容匹配的设计，可迁移到异构 Transformer 间的特征迁移场景，例如将不同结构的推荐模型（双塔、多模态编码器）的中间表示进行对齐，实现模块级复用。